\documentclass[UTF8,a4paper]{ctexart}

% ==========Preamble==========
\usepackage{graphicx}
\usepackage{apacite}
\usepackage{amsmath}
\usepackage{url}
\usepackage{fancyhdr}
\usepackage{geometry}
\usepackage[font=small,labelfont=bf,labelsep=quad,format=hang,textfont=it]{caption}
\usepackage{booktabs}
\usepackage{graphicx}
\usepackage{float}

\pagestyle{plain}
\CTEXsetup[format=\Large\bfseries]{section}
\bibliographystyle{apacite}
\DeclareGraphicsExtensions{.eps,.pdf,.jpg,.png}

% 设置图表搜索路径, 可以给图表文件夹取如下名字
\graphicspath{{img/}}

% ==========Title==========

\title{\bfseries 命名实体识别\\\begin{large}知识图谱课程报告\end{large}} 
\author{\bfseries 谈昊\quad2020E8013282037}

% Your name in the first blank and your additional information in \thanks{}
\date{}
% delete \today if you don't want the date

% ==========Document==========

\begin{document}
\maketitle

% ==========Abstract==========

\begin{center}
\parbox{130mm}{\zihao{-5}{\bfseries 摘\quad 要：}
    % Abstract here
    % An example is as follows
    命名实体识别（NER）是对文本中重要名词和专有名词进行定位和分类的问题。例如，在新闻报道中，人名、组织和地点的名称通常很重要。命名实体识别在信息提取、问答系统和机器翻译等应用中发挥着重要作用。本文介绍了近年来命名实体识别的一些实现方法和几个应用场景，并对命名实体识别的未来做出了一定的展望。
    \par
    \vspace{1mm}
    {\bfseries 关键词：}命名实体识别\quad NER \quad EEG}
    \end{center}
    
% ==========Body==========

\section{引言}
在20世纪90年代，特别是在Message Understanding Conferences(MCU)上，命名实体识别（NER）作为一项信息提取任务被首次提出，并获得研究界的广泛关注。在NER中，“命名实体”（NE）的表达不仅包括专有名词，还包括时间表达和一些数字表达，如货币金额和其他类型的单位。专有名词包括三个经典方面（在文献中被称为类型或类别）：人、地点和组织。NER可以被定义为试图在开放领域和非结构化文本（如报纸文章）中定位、提取并自动将命名实体分类为预定的类别或类型的任务。普遍性是命名实体的重要性的一个具体体现，这可以从命名实体在语料库中的高频出现（包括出现和共同出现）得到证明。
\par
自从命名实体识别任务提出之后，人们使用了不同的方法企图提升该任务的识别精度和运行速度；同时，命名实体识别也在不同的场景下落地生根，发挥了重要的作用。本文将在Section2简要说明命名实体识别的几种常用方法，并在Section3简要说明命名实体识别的几个应用场景，同时在Section4对命名实体识别的未来做出展望。

\section{NER常用方法}
\subsection{LSTM-CRF模型}
LSTM-CRF（长短期记忆网络模型条件随机场）可以看作是LSTM和CRF的混合结构。因此以下部分简单介绍LSTM(长短期记忆网络)和CRF（条件随机场）\cite{huang2015bidirectional}。
\subsubsection{LSTM}
RNN是一种对序列数据进行操作的神经网络。将一个向量序列$\left(\mathbf{x}_{1}, \mathbf{x}_{2}, \ldots, \mathbf{x}_{n}\right)$作为输入，并返回另一个序列$\left(\mathbf{h}_{1}, \mathbf{h}_{2}, \ldots, \mathbf{h}_{n}\right)$，代表输入中每一步的序列的一些信息。虽然理论上RNN可以学习较长的依赖关系，但在实际中它们无法做到这一点，而且往往依赖于于序列中最新的输入（。长短期记忆网络（LSTM）被设计为通过纳入一个记忆单元来解决这个问题，并被证明可以捕获长距离的依赖关系\cite{gers2000learning}。如图\ref{fig:001}所示，它使用几个门控单元来控制给记忆单元的输入比例，以及遗忘前一个状态的比例。
\begin{figure}[H]
    \centering
    \includegraphics[width = 0.5\textwidth]{The-structure-of-the-LSTM-unit.png}
    \caption{\em LSTM Cell结构图,包括输入门、遗忘门和输出门三个门控单元}
    \label{fig:001}
\end{figure}
其中，LSTM的前向传播公式以及门控单元计算公式如下：
$$
\begin{aligned}
i_{t} &=\sigma\left(x_{t} U^{i}+h_{t-1} W^{\prime}\right) \\
f_{t} &=\sigma\left(x_{t} U^{f}+h_{t-1} W^{f}\right) \\
o_{t} &=\sigma\left(x_{t} U^{o}+h_{t-1} W^{o}\right) \\
\tilde{C}_{t} &=\tanh \left(x_{t} U^{g}+h_{t-1} W^{g}\right) \\
C_{t} &=\sigma\left(f_{t} * C_{t-1}+i_{t} * \tilde{C}_{t}\right) \\
h_{t} &=\tanh \left(C_{t}\right) * o_{t}
\end{aligned}
$$
对于一个包含$n$个单词的给定句子$\left(\mathbf{x}_{1}, \mathbf{x}_{2}, \ldots, \mathbf{x}_{n}\right)$，每个单词表示为一个$d$维向量，LSTM在每个单词$t$处计算该句子左边语境的表示$\overrightarrow{\mathbf{h}}_{t}$。自然，生成右边语境的表示$\overleftarrow{\mathbf{h}}_{t}$也能增加有用的信息。这可以通过第二个LSTM来实现，该LSTM反向读取相同的序列。我们将前者称为前向LSTM，后者称为后向LSTM。这是两个不同的网络，具有不同的参数。这种向前和向后的LSTM对被称为双向LSTM\cite{graves2013hybrid}。使用这个模型的词的表征是通过连接其左右上下文表征得到的，$\mathbf{h}_{t}=\left[\overrightarrow{\mathbf{h}_{t}} ; \overleftarrow{\mathbf{h}_{t}}\right]$。这些表征有效地包括了一个词在上下文中的表征，这存在对许多标签的应用是很有用的。\cite{graves2005bidirectional}
\subsubsection{CRF标签模型}
对于一个输入句子$\mathbf{X}=\left(\mathbf{x}_{1}, \mathbf{x}_{2}, \ldots, \mathbf{x}_{n}\right)$，我们认为$P$是双向LSTM网络输出的分数矩阵。$P$的大小为$n\times k$，其中$k$是不同标签的数量，$P_{i,j}$对应于一个句子中第i个词的第j个标签的得分。对于一个预测序列$\mathbf{y}=\left(y_{1}, y_{2}, \ldots, y_{n}\right)$; 将其分数定义为$$
s(\mathbf{X}, \mathbf{y})=\sum_{i=0}^{n} A_{y_{i}, y_{i+1}}+\sum_{i=1}^{n} P_{i, y_{i}}，
$$其中$A$是一个过渡分数的矩阵，$A_{i,j}$代表从标签i到标签j的过渡分数。$y_0$和$y_n$是一个句子的开始和结束标签，将其添加到可能的标签集合中。因此，$A$是一个大小为$k+ 2$的方阵。
\par
在所有可能的标签序列上进行softmax操作得到一个序列$y$的概率：$$
p(\mathbf{y} \mid \mathbf{X})=\frac{e^{s(\mathbf{X}, \mathbf{y})}}{\sum_{\widetilde{\mathbf{y}} \in \mathbf{Y}_{\mathbf{X}}} e^{s(\mathbf{X}, \widetilde{\mathbf{y}})}}
$$ 
在训练期间，目标是最大化正确标签序列的对数形式的概率:$$
\begin{aligned}
\log (p(\mathbf{y} \mid \mathbf{X})) &=s(\mathbf{X}, \mathbf{y})-\log \left(\sum_{\tilde{\mathbf{y}} \in \mathbf{Y}_{\mathbf{X}}} e^{s(\mathbf{X}, \widetilde{\mathbf{y}})}\right) \\
&=s(\mathbf{X}, \mathbf{y})-\underset{\widetilde{\mathbf{y}} \in \mathbf{Y}_{\mathbf{X}}}{\operatorname{logadd}} s(\mathbf{X}, \widetilde{\mathbf{y}}),
\end{aligned}
$$
其中$Y_X$代表一个句子$X$的所有可能的标签序列\cite{tseng2005conditional,wang2005dynamic}。从上面的式子可以看出，网络尽可能产生一个有效的输出标签序列。在解码时，我们预测获得最大分数的输出序列，即：$$
\mathbf{y}^{*}=\underset{\widetilde{\mathbf{y}} \in \mathbf{Y}_{\mathbf{X}}}{\operatorname{argmax}} s(\mathbf{X}, \widetilde{\mathbf{y}})
$$
\subsubsection{混合模型}
模型结构如图\ref{fig:002}所示，单词被词嵌入表示后输入到双向LSTM中，$\mathsf{I}_i$代表单词$i$和它的左边语境，$\mathbf{r}_{i}$代表单词$i$和它的右边语境。将这两个向量串联起来，就得到了单词$i$在其上下文中的表示，即$\mathbf{c}_{i}$。
\begin{figure}[H]
    \centering
    \includegraphics[width = 0.5\textwidth]{屏幕截图 2021-06-27 214327.png}
    \caption{\em LSTM-CRF模型结构图}
    \label{fig:002}
\end{figure}
经过实验证明，在英语、德语和荷兰语中的命名实体识别任务中，LSTM-CRF模型的表现极佳。

\subsection{MAF-CNER模型}
如图\ref{fig:003}所示。该模型分为三层：字符、笔画和部首多特征向量融合层；BiLSTM层；CRF层。根部和笔画特征表示由BiLSTM神经网络计算，使用加权连接法进行合并，并与字符向量连接，形成最终的输入向量。BiLSTM提取当前输入向量的上下文特征。CRF层的输入是BiLSTM层的输出向量，CRF层将对信息进行解码并获得最佳标签序列。
\begin{figure}[H]
    \centering
    \includegraphics[width = 0.7\textwidth]{屏幕截图 2021-06-27 221341.png}
    \caption{\em MAF-CNER模型结构图}
    \label{fig:003}
\end{figure}
针对BiLSTM层，CRF层的介绍在Section2.1.1-2，不再赘述。\par
\cite{han2021maf}提出的模型的最大优点是采用加权连接法自适应地融合了汉字中的两种语义信息，而以往的研究只停留在词级嵌入或使用一种汉字内部特征语义信息。这将使嵌入层的代表性不足，模型的性能会相对降低，而且不能正确识别命名实体。将两种内部特征结合起来，可以使汉字特征得到更充分的体现，避免了单一特征不能正确区分汉字的问题，而且通过加权使两种语义信息组合的比例更加均衡，达到最佳组合效果。该模型在"中国人民日报 "1998年1月至6月的数据集上其他主流模型进行了比较。实验结果表明，该模型优于其他模型，其F1值分别为97.01\%和96.78\%。

\section{NER应用场景}
\subsection{食品行业}
由于大量的食品相关信息是以异质文本数据的形式出现的，基于计算机的方法对于自动提取这些信息是很有用的。其中一个方法是利用计算机科学中广泛用于信息提取的命名实体识别。尽管在生物医学领域存在大量实用的NER方法，但食品科学领域的资源非常匮乏。
\par
从文本数据中提取食品实体是一项具有挑战性的任务，可以用于填补许多实际应用中的空白。从科学论文中自动提取食品实体以及所有其他生物医学实体,即药物、疾病、治疗方法等，可以帮助我们迅速捕捉该论文的主体知识。此外，机器学习算法可以用来发现食品实体和疾病实体之间存在的一些隐藏关系。这对食物过敏研究尤其重要。另外，食品信息的自动提取可以用来填补食品相关数据库（例如，食品成分数据库）中的空白。另一个有价值的应用是可以将从个人的饮食记录中提取的食物实体信息在营养水平上进行对应，即将此人的饮食与其能够获得的营养进行匹配。这些信息可以被推荐系统使用来推荐给某种营养缺失的人推荐相应的食物。在食品领域，80\%以上的数据是以文本表达的形式从食品安全案例中提取的，以获得涉案人员、食品、添加剂等信息，作为数据支持，用于重大事件中食品安全风险状况的综合研判、智能决策和动态预警。
\par
\cite{popovski2019foodie}提出了一种基于规则的食品信息提取命名实体识别方法，称为FoodIE。它由少量基于计算语言学和描述食品实体的语义信息的规则组成。使用两个不同的数据集进行评估的实验结果表明，可以取得非常有希望的结果。所提出的方法取得了97\%的精确度，94\%的召回率和96\%的F1得分。
\par
为了提高食品领域实体识别的准确率，\cite{董哲48基于}提出了一种基于BERT和对抗性训练的中文NER方法。该方法首先引入BERT对语言模型进行预训练，得到的词向量可以增强任意两个词之间的依赖关系，然后采用共性和私有双向LSTM对任务的共享特征和私有特征进行编码，最后通过CRF得到最佳实体注释。此外，通过引入对抗性训练，获得NER和CWS任务共享的特征，并利用CWS任务中一些有效的词界信息来提高中文NER任务的准确率。实验结果表明，该方法对具有不重要的特定领域边界的中文NER问题有良好的效果。
\subsection{社交媒体}
在社交媒体网站,如Facebook和Twitter,上发布的状态信息，由于其嘈杂和非正式的性质，为命名实体识别带来了一种新的挑战性。像短信一样，推特特别简练和难以理解。然而，由于推文的低门槛和移动设备的普及，推文提供了一个独特的信息发布方式，它比新闻文章更有时效性和包容性。\cite{hachman2011humanity}提出推文的语料库已经超过了美国国会图书馆的规模。由于推文的庞大数量，自然要考虑对推文进行命名实体识别、信息提取和文本挖掘。现成的NLP工具是在新闻语料库中训练出来的，在推文语料库中的表现很很差。
\par
由于其简短的性质，推文往往缺乏足够的背景来识别它们所包含的实体类型。此外，存在大量独特的命名实体类型，需要大量的训练数据。为了解决这两个问题，\cite{ritter2011named}提出并评估了一种基于LabeledLDA的远距离监督方法，该方法在应用于Twitter时，比Collins和Singer（1999）建议的命名实体分类的共同训练方法的F1得分增加了25\%。

\subsection{医疗行业}
健康信息技术的广泛使用导致了电子健康记录（EHR）数据的空前扩大。EHR数据不仅被用来支持临床实践中的操作任务（如临床决策支持系统），也被用来实现临床和转化研究。然而，许多重要的病人信息分散在叙述性的临床文件中，对于依赖结构化数据的计算机应用来说，这些文件是无法直接理解的。因此，临床自然语言处理（NLP）技术，可以从叙述性的临床文本中提取重要的病人信息，已经被引入到医学领域。
\par
\cite{wu2015named}提出了一种深度神经网络（DNN），通过无监督学习从大型无标签语料库中生成词嵌入，并使用另一个DNN来完成NER任务。实验结果表明，在最小特征工程设置中，从大型无标签语料库中训练出来的具有词嵌入的DNN超过了最先进的CRF模型，获得了最高的F1分数0.9280。

\section{展望}
\paragraph{NER模型更具可扩展性}\cite{batmaz2019review}提出当数据规模增长时，仍然需要对参数的指数增长进行优化的解决方案。例如，ELMo表示每个词都有一个3×1024维的向量，该模型在32个GPU上训练了5周。BERT是在64个云TPU上训练的。然而，如果终端用户无法获得强大的计算资源，就无法对这些模型进行微调。开发平衡模型复杂性和可扩展性的方法将是一个有前途的方向。另一方面，模型压缩和修剪技术也是减少模型学习所需空间和计算时间的选择。
\paragraph{NER模型更易使用}首先是实现代码的易用化，开发者可以用现有的深度学习框架从头开始编写代码。另外可以将代码进行打包，使NER工具包可以引导开发者用一些标准化的模块来完成它：数据处理、输入表示、上下文编码器、标签解码器和结果测试。

\section{结论}
本文包括NER研究的背景，方法的简介，应用方面，以及未来的研究方向。首先，介绍了NER的背景。其次介绍了LSTM-CRF模型和MAF-CNER模型的结构及其表现。最终，回顾了不同的行业的命名实体识别的应用，例如食品、医疗、社交媒体分析。第四，对命名实体识别的性能和易用性做出了展望。
% ==========References==========
\renewcommand{\refname}{参考文献}
% enter your .bib file name in the parentheses in the following line.
\bibliography{ref}
\clearpage
\end{document}
